Năm 20 tuổi, ông thi đỗ vào khóa III Trường Cao đẳng Mỹ thuật Đông Dương. Sau một năm học khoa mỹ thuật, ông chuyển sang học khoa kiến trúc, cùng học với Hoàng Như Tiếp. Năm 1933, ông đỗ đầu khóa và được gửi sang Pháp tu nghiệp một năm tại Xưởng thiết kế của Le Corbusier và Auguste Perret.

Là một kiến trúc sư bậc thầy trong sử dụng bê tông, các công trình của Auguste Perret đã để lại dấu ấn sâu sắc trong quan điểm sáng tạo của Nguyễn Cao Luyện.

Sau khi về nước, ông mở phòng kiến trúc tư ở 42 Tràng Thi – Hà Nội, đây là văn phòng kiến trúc đầu tiên của kiến trúc sư người Việt ở Việt Nam. Những công trình đầu tay của ông ở Hà Nội là như Bệnh viện 167 Phùng Hưng, Trường tư thục Thăng Long ở Ngõ Trạm, các biệt thự 77 Nguyễn Thái Học, 65 Lý Thường Kiệt (nay là Đại sứ quán Cộng hòa Cuba)... Kiến trúc sư Nguyễn Cao Luyện còn tham gia giảng dạy ở Trường Cao đẳng Mỹ thuật Đông Dương, một trong số các học trò của ông là kiến trúc sư Huỳnh Tấn Phát.

Cuối năm 1935, cùng kiến trúc sư Hoàng Như Tiếp từ Huế ra, hai ông đã thực hiện kiểu "Nhà ánh sáng" khá giản dị, thiết kế toàn từ những vật liệu rẻ tiền, nhưng tạo nên nơi ăn chốn ở văn minh, hợp vệ sinh cho nhiều người dân nghèo ở bãi Phúc Xá, Hà Nội.

Năm 1939, hai ông cùng với kiến trúc sư Nguyễn Gia Đức thành lập Văn phòng Kiến trúc Luyện - Tiếp - Đức. Bộ ba Luyện - Tiếp - Đức chính là những người tiên phong khởi xướng ra các ý tưởng về không gian và hình dáng của kiến trúc Việt Nam, tiếp thu ảnh hưởng của văn hóa và kiến trúc Pháp, đồng thời khai thác nét văn hóa truyền thống của dân tộc, đã để lại hàng chục công trình có giá trị thẩm mỹ cao, ghi dấu ấn trong nền kiến trúc Việt Nam trước Cách mạng tháng 8. Những công trình đáng chú ý như toà nhà tại đường Nguyễn Thái Học (nay là trụ sở Liên hiệp Hợp tác xã Việt Nam), biệt thự số 7 Thiền Quang (nay là trụ sở Cảnh sát Hình sự PC45 Hà Nội), 215 Đội Cấn và 38 Bà Triệu (Nhà in Tạp chí Cộng sản).